Beliau menjadi Pengarah Institut Teknologi Mara (ITM) pada tahun 1966. Beliau telah mewujudkan suatu institusi pengajian tinggi yang ulung kerana pelajar-pelajarnya terdiri daripada mereka yang institusi lain tidak mahu ambil kerana lemah keputusan peperiksaan Sijil Pelajaran Malaysia (SPM).Ketika itu pelajar ITM tiada tempat tinggal , bilik kuliah di Jalan Othman, Petaling Jaya yang terhad dan ketidakinginan Jabatan Perkhidmatan Awam mengiktiraf diploma-diploma keluaran ITM. Arshad meletakkan mahasiswa ITM di merata tempat sekeliling Petaling Jaya dan Jalan Klang Lama, di Petaling Jaya di Seksyen 14, Seksyen 17, dan di Jalan Klang Lama.

Ketika itu mahasiswa menerima elaun RM15 sebulan dan kebanyakan pelajar yang tinggal di Jalan Klang Lama. Konsep pelajar tinggal di luar kawasan kampus inilah yang telah banyak ditiru oleh lain-lain institusi pengajian tinggi.

Arshad Ayub dikenali sebagai orang yang bertanggungjawab dalam pembangunan Universiti Teknologi MARA (UiTM), sebuah universiti yang ditubuhkan bagi memberikan peluang pendidikan tinggi yang lebih baik kepada golongan Melayu dan bumiputera. Sumbangan, peranan dan perjuangannya membangunkan pendidikan profesional dalam kalangan anak Melayu dan menjadikan mereka Bumiputra yang mampu memajukan potensi diri. Beliaulah yang menjadi arkitek penubuhan Universiti Teknologi Mara (UiTM) yang menjadi gedung modal insan pribumi yang teragung di Malaysia . Beliau merupakan pengarah pertama universiti tersebut dari tahun 1967 hingga 1975 yang pada waktu itu dikenali sebagai Institut Teknologi MARA. [1]

Menteri Pelajaran ketika itu ialah Dr Mahathir Mohamad .Dr Mahathir meluluskan perpindahan beliau ke Bank Negara . Tindakan ini dibantah oleh Kesatuan Mahasiswa Institut Teknologi Mara(KSITM) kerana bimbang merencatkan pembangunan ITM. Akta Universiti dan Kolej Universiti digubal pada 1975 bagi mengekang kegiatan demonstrasi dalam kalangan mahasiswa. Antara pelajar ITM yang aktif dalam demonstrasi ketika itu ialah Datuk Ibrahim Ali. Beberapa orang kakitangan dan pelajar menjadi tahanan polis dan Unit Simpanan Khas (FRU) keluar masuk kampus ITM .[2][3]